GPT-3(Generative Pre-trained Transformer 3)

• 一個基於Transformer Decoder無監督式學習、單向、大型通用式的語言模型。
• 主要目標在於預測下一句最合理的詞句為任務。
• 大型GPT-3有1750億個參數，96層Transformer每層有128個Attention Head詞向量的維度為12288。
• 有各種大小。
• 訓練數據:來源有Common Crawl DataSet、Web Text、Book1、Book2、Wikipedia。
• 主要預測方式:
  ➊Zero Shot(不該有目標樣本):只是描述任務的特性，而不給任何的樣本而讓GPT-3自己去執行。
  ➋One Shot(只有一個目標樣本):只給一個下游任務的樣本Demo給GPT-3看，而它就要執行此任務。
  ➌Few Shot(只有少數目標樣本):只用10~100個目標任務的新樣本就可以執行許多下游的任務，而不需要改變原來語言模式內的所有參數權重，不需要做微調的工作。
• 應用:
  1.句子的理解方面:由一個句子來預測最後一個字，主要是要測試其長距離的依賴關係與對句子結構的理解。
  2.文本的理解方面:預測文本的結尾。
  3.句子面的關係方面:測試其瞭解文本與句子的關係。
  4.QA系統:直接在網頁大量的文章中、書本及維基的文本內直接抽取出正確的回答。
  5.機器翻譯方面:對各國語言的翻譯。
  6.常識與推理Common Sense Reasoning方面
  7.閱讀瞭解Redding Compreshension方面:文本摘要、問答系統、聊天機器人。
  8.在數學方面:二位數加減完全沒問題，三位數的正確率大約在80%~90%。
  9.語意的瞭解方面:SAT的同詞異義與異詞同義正確比率維60%~65%。
  10.創造新文本方面:給一個題目，可以寫出一篇文章。
  11.句子生成方面:對沒見過的字簡單檢視並自我造句。
• 風險:
  ➊誤用的強力語言工具:對於詐騙集團、假消息、垃圾郵件、釣魚網站、論文造假如虎添翼。
  ➋垃圾進垃圾出:如果輸入的資料有歧視、不公正、辱罵等負面內容，則輸出的結果也會有這種偏差性的內容。
  ➌品質的問題:社群媒體上的內容品質不高，導致分析出來的內容有品質問題。
  ➍準確穩定性的問題:結果常出現荒謬錯誤或是專業領域沒經過微調，績效不穩定。

未來Language Moedl

趨勢會往下面幾個走:

1. 更可控制的文本生成:要求文本的出處資料，保障input品質，避免Garbage in Garbage out(GIGO)。
2. 綜合知識圖譜Knowledge Graph(KG)功能:用來清楚瞭解文句中的正確邏輯關係。
3. 更好的道德風險分析:用道德規範的指標來比較不同LM的輸出品質、做倫理道德偏差內容的比較分析，來監督改善LM生成內容與品質符合人類的道德規範。

參考來源:人工智慧:概念應用與管理 林東清